KSC 2019
Current Result Document :
| 한글제목(Korean Title) |
순환 신경망 압축을 위한 구조화 된 원 샷 프루닝 기법 |
| 영문제목(English Title) |
Structured One-shot Pruning for Recurrent Neural Network Compression |
| 저자(Author) |
김동호
이상근
DongHo Kim
SangKeun Lee
|
| 원문수록처(Citation) |
VOL 46 NO. 02 PP. 0643 ~ 0645 (2019. 12) |
한글내용
(Korean Abstract) |
최근 순환 신경망의 압축 연구 중 하나인 가중치 프루닝 연구는 다양한 분야에서 뛰어난 성과를 보여왔다. 구조 프루닝은 가중치 프루닝 기법 중 한 가지로 순환 신경망의 구조를 잘 학습할 수 있다. 대부분의 연구들은 구조 프루닝 기법과 함께 반복 프루닝이라는 프루닝 전략을 사용한다. 이는 높은 정확도를 위해 많은 반복과 복잡한 알고리즘을 동반한다. 본 연구에서는 기존과 다르게 구조 프루닝을 원 샷 프루닝 전략으로 사용하는 기법을 제안한다. 원 샷 프루닝은 프루닝 작업에 필요한 비용을 줄이며, 확장이 용이한 프루닝 전략이다. 우리는 지역별 블록 스캔을 통한 프루닝 방식으로 위 기법을 구성하며, 성능개선을 유도하였다. 제안기법의 효과를 확인하기 위해 언어모델링과 질의응답 태스크를 사용하는 LSTM 모델들과 실험을 하였고, 최첨단 모델 대비 정확도를 유지하며 높은 압축률을 보였다.
|
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
